Maschinelle Übersetzung effektiver einsetzen: Eine KI-Geschichte

Die maschinelle Übersetzung (Machine Translation, MT) hat in den letzten Jahren unglaubliche Fortschritte gemacht. Wegweisend ist dabei die neuronale maschinelle Übersetzung. Die Qualität der damit erzielbaren Ergebnisse nimmt kontinuierlich zu. Aber noch zögern viele Unternehmen bei der Implementierung von MT. Ein wesentlicher Grund hierfür ist, dass sich bislang die Qualität einer maschinellen Übersetzung trotz fortschreitender Innovation nicht prognostizieren ließ. Gäbe es die Möglichkeit, die zu erwartende Qualität einer maschinellen Übersetzung einschätzen zu können, könnte dies der entscheidende Impuls zur Einführung von MT im großen Maßstab sein.

Im vergangenen Jahr hat sich das KI-Team von Memsource mit genau diesem Problem beschäftigt.

Die Idee

Das interne KI-Team von Memsource wurde mit dem Ziel gebildet, mit Technologien des maschinellen Lernens Probleme zu lösen, denen Lokalisierungsspezialisten bei ihrer Arbeit täglich begegnen.

„Wir haben von Anfang an nach Bereichen gesucht, in denen maschinelles Lernen unseren Benutzern effektiveres Arbeiten erlaubt. Und angesichts der Herausforderungen, mit denen sich Benutzer bei der Verwendung maschineller Übersetzung auseinandersetzen müssen, war dies offensichtlich ein guter Ausgangspunkt“, erläutert Ales Tamchyna, Leiter des AI-Teams von Memsource.

Bei der Verwendung der meisten MT-Systeme weiß der Benutzer nicht, ob die maschinellen Übersetzungen hochwertig und problemlos verwendbar sein werden – oder das genaue Gegenteil. Aber ohne diese Informationen kann nicht ohne weiteres festgestellt werden, ob sich der Einsatz maschineller Übersetzung für ein Projekt lohnt, und wie hoch der Nachbearbeitungsaufwand voraussichtlich sein wird.

„Bei der Entscheidung, ein Projekt zur MT-Qualitätseinschätzung zu initiieren, hat uns die Erkenntnis motiviert, dass qualitativ hochwertige maschinelle Übersetzungen das Tempo bei der professionellen Übersetzungsarbeit deutlich steigern können“, so Tamchyna.

Die nachstehende Grafik zeigt, dass ein Übersetzer eine Übersetzung umso schneller fertigstellen kann, je besser die MT ist. „Da zeigt sich ein schöner, nahezu linearer Trend“, ergänzt Tamchyna. „Produktivitätsgewinne stellen sich bereits ein, wenn die MT-Qualität bei 60 liegt. Uns war klar: Sollte es uns gelingen, diese Informationen zur Qualität der maschinellen Übersetzung noch vor dem Beginn der eigentlichen Arbeit bereitzustellen, würde dies nicht nur den Zeitaufwand für die Nachbearbeitung der maschinellen Übersetzung reduzieren, sondern auch die Erstellung präziserer Angebote erlauben.“

Das KI-Team konnte auf Daten aus abgeschlossenen Übersetzungsprojekten zugreifen, bei denen maschinell übersetzte Segmente nachbearbeitet worden waren. Der nächste Schritt bestand darin, hieraus eine sinnvoll einsetzbare Funktion für die Benutzer zu machen.

Der Entwicklungsprozess beschritt verschiedene Wege, darunter auch Tests und Experimente. Grundsätzlich umfasste er drei Stufen:

1. Den Aufbau der groben neuronalen Netzwerkarchitektur und des Lernprozesses einschließlich der Datenverarbeitung.
2. Experimente mit verschiedenen Segmentierungen der Qualitätskategorien (MTQE) und verschiedene Anpassungen der Netzwerke. Das AI-Team interessierte sich nicht nur für bestmögliche Ergebnisse, sondern auch eine möglichst effiziente Berechnung. Am Ende des Prozesses stand ein durchaus effizientes Modell, das dennoch solide Voraussagen treffen konnte.
3. Abschließend galt es, auf der Grundlage dieses Prototyps ein für den produktiven Einsatz geeignetes System zu entwickeln und für alle unterstützten Sprachpaare die endgültigen Modelle zu erstellen.

Die Lösung: Qualitätseinschätzung der maschinellen Übersetzung

Am Ende der Entwicklungs- und der Trainingsphase stand die Betaversion einer neuen Funktion von Memsource: der Qualitätseinschätzung für die maschinelle Übersetzung (Machine Translation Quality Estimation – MTQE).

Da es sich hierbei um ein neues, innovatives Feature handelte, zeigte die erste Version noch Verbesserungspotenzial. „Bei MTQE Version 1 standen perfekt und nahezu perfekt maschinell übersetzte Segmente im Mittelpunkt des Interesses. Maschinelle Übersetzung liefert bislang bei kurzen Segmenten die besten Ergebnisse. Dementsprechend erfuhren wir von den ersten MTQE-Anwendern, dass sie die meisten MTQE-Ergebnisse für solch kurze Segmente erhielten“, berichtet Ales Tamchyna.

Wir erhielten zahlreiche positive Rückmeldungen, was auch durch unser MTQE-Feedback-Webinar bestätigt wurde. Aber es zeigte sich auch, dass die MTQE-Kennzahlen einen zu kleinen Bereich abdeckten. Daher suchte das KI-Team nach Ansätzen, um mit den MTQE-Kennzahlen mehr Inhalte abzudecken.

„Die zweite Version von MTQE basiert auf überarbeiteten KI-Modellen und einer neuen neuronalen Netzwerkarchitektur“, sagt Tamchyna. „Wir haben zahlreiche Ansätze bewertet und wahrscheinlich Hunderte von Experimenten durchgeführt. Letztendlich wollten wir MTQE deutlich robuster machen.“

Erste Tests mit der zweiten Version von MTQE zeigen, dass für bestimmte Sprachpaare Qualitätskennzahlen für bis zu 60% der Segmente gewonnen werden können – viermal mehr als in Version 1. Auf diese Weise können bei den Nachbearbeitungskosten bis zu 10% eingespart werden.

Die neueste Version der MTQE-Funktion kann mit jeder der mehr als 30 von Memsource unterstützten Machine Translation Engines und mit 92 verschiedenen Sprachpaaren genutzt werden. Derzeit befindet sich die Version 2 von MTQE noch in der Beta-Phase, um weitere Tests durchzuführen und Feedback von den Benutzern zu erhalten.

Dies sind die Kennzahl-Kategorien:

100% MT
Perfekte MT-Ausgabe – Post-Editing ist wahrscheinlich nicht erforderlich.

99% MT
Nahezu perfekte MT-Ausgabe. Post-Editing ist möglicherweise in geringem Umfang erforderlich, hauptsächlich zur Korrektur von Formatierungs- oder Interpunktionsproblemen.

75% MT
Hochwertige MT-Ausgabe, das Post-Editing lohnt sich.

Keine Bewertung
Wenn keine Kennzahl ermittelt werden kann, ist die Qualität der MT-Ausgabe wahrscheinlich gering. Grundsätzlich sollte das Ergebnis in diesem Fall nicht nachbearbeitet werden, sondern nur als Referenz herangezogen werden.

Erfahren Sie, wie Sie MTQE einrichten und verwenden können.

Die folgende Grafik zeigt die Verteilung der MTQE-Werte für die acht am häufigsten in Memsource genutzten Sprachpaare.

„Nun, da die MTQE-Daten den Benutzern von Anfang an zur Verfügung stehen, können sie besser entscheiden, ob sich die Verwendung von MT lohnt, welche Einsparungen sich nach der Bearbeitung der maschinell übersetzten Segmente ergibt – und ob man mit MT-Nachbearbeitung oder einer Neuübersetzung schneller zu Ergebnissen kommt“, erklärt Tamchyna.

Die Zukunft

Das KI-Team von Memsource beschäftigt sich mit der Synergie von maschineller Übersetzung und künstlicher Intelligenz. Auf diesem Weg stellt MTQE nur einen ersten Schritt dar. Es sind bereits viele weitere Projekte angedacht.

„Grundsätzlich gehen wir davon aus, dass MT-Engines in Zukunft deutlich effizienter eingesetzt werden können“, sagte Tamchyna. „Das Übersetzungssystem sollte automatisch die am besten geeignete Suchmaschine (oder Suchmaschinen) für den jeweiligen Inhalt auswählen. Sobald die maschinelle Übersetzung abgeschlossen ist, sollte das System dann die Qualität der Übersetzung bewerten. Ich denke, wir werden auch eine stärkere Integration der maschinellen Übersetzung mit benutzerspezifischen Ressourcen wie Translation Memorys und Termdatenbanken sehen. Die Benutzer dürfen sich auf viele aufregende Funktionen freuen – einige davon werden schon sehr bald kommen.“